Beliau ditahan Akta Keselamatan Dalam Negeri (ISA) selama lima tahun (1976-1981) kerana dikaitkan dengan perjuangan sosialis komunis. Menteri Keselamatan Dalam Negeri ketika itu ialah Tan Sri Ghazali Shafie dan Perdana Menteri Malaysia ialah Hussein Onn. Beliau ditangkap pada 2.30 pagi pada 3 November 1976 di rumahnya di Petaling Jaya. Syed Husin Ali telahpun ditangkap pada 1974 .

Selepas Barisan Sosialis dibubarkan dan ramainya pemimpinnya dihumban ke dalam penjara, Parti Sosialis Rakyat Malaysia ditubuhkan dan beliau menjadi Ketua 1 bagi mengisi kekosongan (1965-1980). Tahun-tahun tersebut dianggap sebagai kebangkitan komunis kedua seperti meletupkan Tugu Negara dan membunuh Ketua Polis Perak 1975.

Beliau dibebaskan menjelang Hari Raya Haji pada 30 Julai 1981 ketika Dr Mahathir Mohamad menjadi Perdana Menteri Malaysia (15 Julai 1981). Dr Mahathir telah membebaskan tahanan ISA. Dr Mahathir adalah sahabat beliau dan pernah menulis kata pengantar bagi buku-bukunya. Semua pengalaman itu dicatat dalam buku 'Universiti Kedua - Kisah Tahanan di Bawah ISA' selepas beliau keluar dari penjara. Buku ini diterbitkan oleh Media Intelek pada 1 Jun 1983.

Pada 1979, dalam blognya Kassim Ahmad mempertahankan ISA berdasarkan ayat Quran, 18: 60-82. Maksudnya kemudaratan kecil boleh mencegah kemudaratann yang lebih besar.